G. caudovittatus có phạm vi phân bố rộng khắp Ấn Độ Dương. Từ Biển Đỏ và ngoài khơi Yemen, loài này được ghi nhận dọc theo đường bờ biển các nước Đông Phi, trải dài về phía nam đến Nam Phi, bao gồm Madagascar và các đảo quốc lân cận là Mauritius và Réunion, cũng như Maldives và Sri Lanka, xa hơn về phía đông là đến phía tây bắc đảo Sumatra và Bali (Indonesia) cùng phía nam quần đảo Nicobar (Ấn Độ)[1].

G. caudovittatus sống gần các rạn san hô và đá ngầm ở mặt trước rạn, có độ sâu khoảng từ 15 đến 70 m[1]; nhưng quần thể của loài này tại Biển Đỏ có xu hướng sống ở vùng nước nông hơn[3][4].